Академический словарь русского языка - прах с тобой (с ней с ним и т. д.)

прост.

1) выражение уступки, согласия в значении: ладно, пусть будет так.

— Ну, ну, зови, прах с ним, глаза б мои на него не глядели. Я его в дверь выгнала, а он в окно лезет. Б. Полевой, У самого нового моря;

2) выражение безразличия, равнодушия, презрения в значении: ну и пусть, все равно.